Rubin sinh ra và lớn lên ở Chappaqua, New York, là con trai của một nhà tâm lý học, là người sau này thành lập một công ty tiếp thị cho riêng mình.[2] Ông học tại trường trung học Horace Greeley tại Chappaqua, New York từ năm 1977 – 1981 và được trao bằng Cử nhân Khoa học về khoa học máy tính từ trường Cao đẳng Utica ở Utica, New York năm 1986.[3]

Khi còn làm việc tại Apple năm 1989, ông được một đồng nghiệp đặt biệt danh là "Android" vì tình yêu dành cho robot, biệt danh chính thức trở thành cái tên cho hệ điều hành Android.[4]